Multi-Modal Semantic Expansion with Constrained LLM Reranking for Conversational Music Recommendation
对话式音乐推荐的多模态语义扩展与受限LLM重排
🧭 多模态检索融合与LLM约束重排的对话推荐 ★ 深度解读
National Institute of Technology Kurukshetra · Queen Mary University of London
三阶段多模态检索+轻量重排+LLM persona生成，融合7路embedding与BM25，Blind B综合0.3213，发现LLM注入仅在窄范围有效
📌 工作参考价值（4 点）
- 多召回通道融合：采用加权RRF替代简单线性打分，并用差分进化在验证集上自动搜索权重；本工作MRR +19.5%，且行为/协同信号权重可远高于文本语义信号。电商搜索/推荐可对CF、语义embedding、BM25、属性match分别召回后加权RRF融合，离线调权。
- LLM二次排序/改写采用“保守注入”：仅在正确item已部分出现但排名不足（例如top20内1-5条）时触发LLM干预；本工作无差别注入54会话导致nDCG -18.9%，而仅9会话介入得到+0.8%。工程上应设置严格触发条件并灰度验证。
- 生成阶段用RAG绑定真实候选并强制提及，结合多persona轮转与presence/frequency penalty，可提升Distinct-2和Judge、减少模板重复与幻觉。电商导购/push文案可借鉴：让LLM从检索结果中选2个真实商品解释，并用不同人设轮转。
- 端到端部署一致性：离线验证过的LLM与reranker不要轻易为降本替换；本工作GPT-4.1改GPT-4o-mini使响应质量损失约0.176复合分，省略reranker再损失约0.096。上线前需评估复合指标对组件替换的敏感度。